<!DOCTYPE html>
<html>

<head>
    
    <meta charset="utf-8">
<meta http-equiv="X-UA-Compatible" content="chrome=1">
<meta name="HandheldFriendly" content="True">
<meta name="MobileOptimized" content="320">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<meta name="referrer" content="no-referrer">

<meta name="description" content="A new Hugo site.">
<title>
    How To Understand Cross Entropy - dashjay
</title>



<link rel="shortcut icon" href="/sam.ico">








<link rel="stylesheet" href="/css/main.min.4321edce0de245f4b1d32680d89ac669940fe5dec17e1791c721d9a0954987b4.css" integrity="sha256-QyHtzg3iRfSx0yaA2JrGaZQP5d7BfheRxyHZoJVJh7Q=" crossorigin="anonymous" media="screen">





<link rel="stylesheet" href="https://fonts.googleapis.com/css?family=Didact+Gothic">

<meta name="twitter:card" content="summary_large_image"/>
<meta name="twitter:image" content="http://dashjay.gitee.io/tn.png"/>

<meta name="twitter:title" content="How To Understand Cross Entropy"/>
<meta name="twitter:description" content="机缘巧合看到交叉熵之后觉得非常神奇 反复看代码没搞懂在干什么，因此找了本机器学习的书希望能够理解这个玩意儿
 除了均方误差之外，交叉熵误差也被用于损失函数，公式如下
 $$ E = - \sum_k{t_k log{y_k}} $$
$$这里面，log表示以e为底的自然对数log_e,y_k是神经网络的输出,t_k是正确标签。并且，t_k是使用如下one-hot的方式表示。$$
[0,0,0,1,0,0,0,0]
如果计算机判断这个是第四个的，入上方数组表示，并且又输出了一个概率如下 [0.1,0.1,0.4,0.6,0.1,0.1....]
$$那么计算机就会使用log_{0.6}的到对应的交叉熵是0.51, 如果对应概率是0.1，则对应的交叉熵是2.3左右$$
def crosss_entropy_error(y, t): delta = 1e-7 return -np.sum(t*np.log(y &#43; delta)) 用以上的方式即可完成交叉熵的编写，用sum函数的因为输出的是向量，但是其他列都是0.只有一列有数据。"/>

<meta property="og:title" content="How To Understand Cross Entropy" />
<meta property="og:description" content="机缘巧合看到交叉熵之后觉得非常神奇 反复看代码没搞懂在干什么，因此找了本机器学习的书希望能够理解这个玩意儿
 除了均方误差之外，交叉熵误差也被用于损失函数，公式如下
 $$ E = - \sum_k{t_k log{y_k}} $$
$$这里面，log表示以e为底的自然对数log_e,y_k是神经网络的输出,t_k是正确标签。并且，t_k是使用如下one-hot的方式表示。$$
[0,0,0,1,0,0,0,0]
如果计算机判断这个是第四个的，入上方数组表示，并且又输出了一个概率如下 [0.1,0.1,0.4,0.6,0.1,0.1....]
$$那么计算机就会使用log_{0.6}的到对应的交叉熵是0.51, 如果对应概率是0.1，则对应的交叉熵是2.3左右$$
def crosss_entropy_error(y, t): delta = 1e-7 return -np.sum(t*np.log(y &#43; delta)) 用以上的方式即可完成交叉熵的编写，用sum函数的因为输出的是向量，但是其他列都是0.只有一列有数据。" />
<meta property="og:type" content="article" />
<meta property="og:url" content="http://dashjay.gitee.io/posts/how-to-understand-cross-entropy/" />
<meta property="og:image" content="http://dashjay.gitee.io/tn.png"/>
<meta property="article:published_time" content="2019-11-11T00:00:00+00:00" />
<meta property="article:modified_time" content="2019-11-11T00:00:00+00:00" /><meta property="og:site_name" content="Call me Sam" />


    

    
    
    
    <title>
        
        How To Understand Cross Entropy
        
    </title>
</head>

<body>
    
    
    <header class="wrap flex-container">
        <h1>How To Understand Cross Entropy</h1>
    </header>
    
    <main class="wrap">
        
<div class="flex-container">
    <aside role="complementary">
        Mon Nov 11, 2019 &#183; 27 words
        <div class="tag-container">
            
        </div>
    </aside>
    <hr />
    <article role="article">
        <h1 id="机缘巧合看到交叉熵之后觉得非常神奇">机缘巧合看到交叉熵之后觉得非常神奇</h1>
<p>反复看代码没搞懂在干什么，因此找了本机器学习的书希望能够理解这个玩意儿</p>
<blockquote>
<p>除了均方误差之外，交叉熵误差也被用于损失函数，公式如下</p>
</blockquote>
<p>$$ E = - \sum_k{t_k log{y_k}} $$</p>
<p>$$这里面，log表示以e为底的自然对数log_e,y_k是神经网络的输出,t_k是正确标签。并且，t_k是使用如下one-hot的方式表示。$$</p>
<p><code>[0,0,0,1,0,0,0,0]</code></p>
<p>如果计算机判断这个是第四个的，入上方数组表示，并且又输出了一个概率如下 <code>[0.1,0.1,0.4,0.6,0.1,0.1....]</code></p>
<p>$$那么计算机就会使用log_{0.6}的到对应的交叉熵是0.51, 如果对应概率是0.1，则对应的交叉熵是2.3左右$$</p>
<pre><code>def crosss_entropy_error(y, t):

    delta = 1e-7
    return -np.sum(t*np.log(y + delta))
</code></pre><p>用以上的方式即可完成交叉熵的编写，用sum函数的因为输出的是向量，但是其他列都是0.只有一列有数据。</p>

    </article>
</div>


        
<nav role="navigation" class="flex-container bottom-menu">
    
<hr />
<p>


    
        <a href="/posts">back</a>
        
            &#183;
        
    

    
        
            <a href="/posts">我的文章</a>
        
    
    
        
            &#183; 
            <a href="/gallery">画册</a>
        
            &#183; 
            <a href="/portfolio">珍贵时光</a>
        
            &#183; 
            <a href="/about">关于我</a>
        
    
    &#183; 
    <a href="/">
        main
    </a>

</p>
</nav>

    </main>
    
    <footer class="flex-container footer">I will code for a long time. Would you?</footer>
    
    
</body>

</html>